Sách Nam Hải Dị Nhân của Phan Kế Bính có chép giai thoại về ông:

Gia đình có cha là đại quan, nhưng thanh liêm nên lúc nhỏ nhà túng bấn, cơm không đủ ăn, áo không đủ mặc. Cụ học rất giỏi, nổi tiếng hay chữ từ nhỏ nhưng nghèo quá phải đi cày mướn gặt thuê, hoặc tìm đến trường làm văn bản mướn kiếm tiền độ nhật. Cụ có sức khoẻ mạnh, nên gặt nhanh chóng được nhiều thửa ruộng, rồi nằm ngủ ngay tại chỗ, gối đầu lên bờ ruộng.Một hôm, cụ qua chuyến đò sông Tam Kỳ, gặp mấy hoà thượng đi đám chay về và mang túi oản. Thấy cụ cứ nhìn, nhà sư biết cụ đói, cho vài phẩm oản, nhưng cụ không nhận vì ít quá, không đủ no. Nhà sư ngạc nhiên, biết cụ là học trò, yêu cầu cụ làm bài thơ Nho tăng đồng chu (học trò, nhà sư cùng thuyền), nếu xong trước khi đến bến, sẽ tặng cả túi oản. Cụ đọc ngay:Nho tăng đồng chuNang trung kinh sử kiệp kim cươngNhĩ ngã kim đồng phiếm nhất hàngHội si cù đàm khanh khoái lạcVị long hoàng các ngã xu thươngDuy biên nhĩ thượng cừu Hàn DũVãng sự ngộ do hận Thủy HoàngNhất ngộ vô đoan này tiễn biệtNhĩ thành phúc quả ngã vinh xương.(Nhiều bản chép khác)Dịch:Cùng qua một chuyến đòMột hòm kinh sử, túi kim cươngNgười tớ cùng sang một chuyến đườngTrong hội cồ đàm người thoả thích,Trên ngôi đài các tớ nghênh ngangChuyện xưa ngươi vẫn căm Hàn Dũ ,Việc trước ta còn oán Thủy HoàngGặp gỡ một lần rồi tiễn biệtKẻ tròn quả phúc, kẻ vinh xương.(Bản dịch khác:Một hòm kinh sử, níp kim cươngNgười, tớ cùng qua một chuyến dươngĐám hội đàn chay người đủng đỉnhSân Trình cửa Khổng tớ nghênh ngang.Sao người chẳng nhớ lời Hàn DũĐây tớ còn căm chuyện Thủy HoàngMột chốc lên bờ đà tiễn biệtNgười thì lên Phật, tớ nên sang).

Sách Giai Thoại Văn Học Việt Nam do Hoàng Ngọc Phách và Kiều Thu Hoạch biên soạn, Nhà xuất bản Văn Học 2001, còn chép thêm như sau:

Thơ làm xong, các nhà sư đưa hết túi oản cho cụ, và cụ ngồi ăn hết sạch. Các nhà sư càng thấy lạ, Có nhà sư tặng thêm cho cụ quan tiền, và dặn sau này làm nên nghiệp lớn, có đánh dẹp đâu, xin chừa nhà chùa ra. Cụ đã y theo lời dặn ấy, về sau mỗi khi tiến quân đánh nhà Mạc, cụ đều ra lệnh cho quân sĩ hết sức bảo vệ chùa chiền.